from pyspark import SparkConf, SparkContext

# 构建SparkConf对象
conf = SparkConf().setAppName("test").setMaster("local[*]")
# 构建SparkContext执行环境入口对象
sc = SparkContext(conf=conf)

# rdd是有分区的
rdd = sc.parallelize([1, 2, 3, 4, 5, 6, 7, 8],3).glom().collect()
print(rdd)
# 输出结果 [[1, 2], [3, 4], [5, 6, 7, 8]] 3个分区

# rdd的方法会作用到所有分区
rdd = sc.parallelize([1, 2, 3, 4, 5, 6, 7, 8],3).map(lambda x: x*2).glom().collect()
print(rdd)
# 输出结果 [[2, 4], [6, 8], [10, 12, 14, 16]]

rdd = sc.parallelize([1, 2, 3, 4, 5, 6, 7, 8],3)
# 获取分区数
print(rdd.getNumPartitions())




